演化自教师的在策略自蒸馏
🧭 LLM 训练 · 自蒸馏教师进化
State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Meituan
提出 Teacher-Evolution Self-Distillation，通过环境奖励优化自教师并自适应加权学生蒸馏，缓解 OPSD 训练停滞
📌 工作参考价值（4 点）
- 在生成式推荐/Agent 的 RLVR 训练中，可将固定 self-teacher 的蒸馏改为带环境反馈的教师进化：teacher 先 rollout，用任务正确性和上下文独立性构造 reward，再对 teacher 做优化，避免指导质量停滞。
- 利用 teacher reward 估计指导可靠性，作为样本级权重：在 student 蒸馏损失中降低不可靠样本的权重，防止错误 token 分布被放大，适合落地到电商文案生成、query 改写等 token 级 RL 训练。
- 把“是否命中上下文无关的正确答案/动作”作为附加奖励信号，与序列级奖励结合，可缓解稀疏奖励与训练波动；尤其在在线学习或持续 post-training 的 LLM 推荐/对话策略中值得尝试。
- 若内部已有 on-policy 蒸馏或 LLM 推理训练流程，可引入 teacher-student 联合更新，但需注意用 adaptive weighting 防止模型因可靠性估计偏差而 collapse。
AutoSFT：自动化监督微调数据研究的多智能体系统
🧭 多智能体协作优化 SFT 数据
Tsinghua University · Beijing University of Posts and Telecommunications · ModelBest Inc. · University of Illinois Urbana-Champaign · The Chinese University of Hong Kong
多智能体系统 AutoSFT 将执行与分析分离，覆盖比例调整、剪枝、修复、替换、合成等数据动作，显著提升 IFEval/IFBench/MBPP+
📌 工作参考价值（4 点）
- 自动化数据管道不要只做单一动作（如仅选样本），可定义丰富的数据动作空间：比例调整、去噪/剪枝、标签修复、样本替换、合成。业务中可把数据迭代从“选数据”升级为“修数据+造数据”。
- 多智能体架构中，将执行与分析分离：executor 只保留精简结果，避免单 agent 上下文被执行输出淹没。电商/推荐 Agent 系统可借鉴，降低长流程中的上下文丢失。
- 分析子代理从多个独立角度（如类别平衡、质量、难度）并行提案，再汇总，比单 agent 全局判断更有效。可用于推荐数据质量审计或 query 优化。
- 公平对比：固定模型/训练器/预算，每轮从 base model 重训，隔离每个组件贡献。评估数据策略时值得采用，避免增量训练的归因偏差。
On-Policy 蒸馏中的收益与崩溃：强化学习视角
🧭 LLM 后训练 · On-Policy蒸馏 · RL视角
Zhejiang University · Westlake University
用 RL 视角解释 OPD 收益与崩溃：教师隐式奖励会放大学生的已有采样行为，掩码不健康响应与 SFT 初始化可缓解崩溃。
📌 工作参考价值（4 点）
- 做 LLM 后训练/蒸馏（如生成式推荐文案、Agent 轨迹优化）时，不要把教师模型只当作生成器，要同时审计它作为隐式 reward model 的可靠性；若教师打分和业务质量指标失配，可能系统性放大拼凑长文、重复槽位等低质输出。
- 在 on-policy 训练或在线蒸馏流程中加入「不健康响应 mask」：对超长、重复、包含异常模板的 rollout 直接屏蔽或降权，可低成本遏制 reward hacking。
- 上线蒸馏前先做 SFT 初始化，再切换 on-policy 蒸馏；尤其适合电商推荐解释、搜索 agent 工具调用轨迹等冷启动场景，避免从随机策略开始导致退化。
- 监控 rollout 长度分布、重复 n-gram 比例、KL 偏离等指标，作为早期预警；一旦长度/重复度飙升，优先检查教师偏好是否被错误行为劫持。
让稀疏奖励起作用：多奖励 RL 的密度感知奖励聚合
🧭 多奖励 RL 的密度感知聚合
University of Chinese Academy of Sciences · University of Minnesota Twin Cities · University of Wisconsin–Madison · Stony Brook University · Kuaishou Technology
提出 DARA，通过逆平方根密度校正放大稀疏奖励的信号，加速多奖励 RL 训练且不改变策略优化目标
📌 工作参考价值（4 点）
- 多目标 LLM 后训练中，若直接对多个 reward 求和或平均，稀疏目标（如格式合规、工具调用、长度合规）容易被稠密目标淹没。可仿照 DARA 在 GRPO/GDPO 实现中按 batch 内每个 reward 非零优势的比例动态计算权重，对稀疏目标施加 inverse-square-root 加权，无需人工反复调 reward coefficient。
- 监控每个 reward 的 advantage energy 或 active-group density，可以量化判断哪些目标学习停滞；当某个目标 density 骤降时自动提高其聚合权重，比训练后看指标再手动调参更早发现信号失衡。
- DARA 只改 reward aggregation，不改变底层 policy optimization objective 或梯度计算，可作为即插即用模块嵌入现有 RLHF/GRPO 流程，工程风险低；只需在 batch 内按 reward 保存 group-level advantages 即可计算 density。
- 对电商 Agent、对话式推荐、商品文案生成等需要同时满足「格式/调用/质量」等多约束的 LLM 应用，稀疏约束信号密度很低，DARA 的密度感知聚合能减少达到高合规率所需训练步数，降低迭代成本。
EasyPPO：稳定 Critic 是 PPO 稳定训练的关键
🧭 RLVR / PPO 训练稳定性优化 ★ 深度解读
University of California, Berkeley · Princeton University
通过 actor-only 截断过滤、按回报方差加权 critic 损失和较小 critic mini-batch，稳定 PPO 训练并全面优于现有方法
📌 工作参考价值（4 点）
- 若在搜索/推荐 Agent 或生成式排序中用 PPO/RLVR 训练 LLM，不要同时对 actor 和 critic 过滤超长 rollout：截断样本保留给 critic 学习，能避免策略偏向“早点截断也能拿到的条件奖励”，同时 actor 侧只过滤截断样本仍可降低噪声。
- 当不同 query / 用户组 / 问题上的 reward 方差差异很大（如连续奖励：转化金额、延迟、GPU kernel 加速比等），对 critic loss 使用 prompt 组内回报标准差的倒数加权，可以在现有分组采样 rollout 的框架下低成本实现，防止少数高方差 prompt 主导 critic 更新。
- 工程上 critic mini-batch 不必等于整个 rollout batch；默认切成 4 个 mini-batch 并做 gradient clipping，能限制 outlier 影响范围。若改变 mini-batch 数，记得按 η ∝ 1/√K 调整 critic 学习率。
- 训练监控可以看 critic 的 explained variance 和 clip 前 gradient norm；持续大幅波动或 EV 突然下降通常是 critic 失效的前兆，可作为在线崩溃预警。
超越教师分配：领域归一化的多教师在线策略蒸馏
🧭 多教师策略蒸馏 · 领域归一化
Nanyang Technological University · Yale University · University of Manchester
提出 DN-MOPD，按领域反馈 spread 重缩放，解决多教师策略蒸馏中反馈尺度失衡问题
📌 工作参考价值（4 点）
- 在多任务/多专家蒸馏或 RL 融合时，不要只做任务路由，还要监控并平衡不同 reward/teacher 反馈的尺度；可提前统计各领域反馈的标准差，按该值重缩放，避免高方差信号主导共享模型。
- 如果在线估计 spread 成本高，可直接使用离线测得的固定领域权重，论文表明固定权重接近测量值时性能相当，便于工程落地。
- 对电商搜索推荐中的多目标强化学习（如点击率、转化率、GMV 约束），不同目标 reward 方差差异大，容易让某个目标主导策略，可借鉴按目标 spread 归一化再加权。
- 在 Agent 或多 teacher 集成场景，评估各 teacher 反馈分布，优先降权高方差域，而不是单纯提升弱势域，控制实验显示调低主导域反馈是关键。
Lightning Weave：通过能力组合提升推理模型精度-效率前沿
🧭 推理模型 · 能力蒸馏与组合 ★ 深度解读
Massachusetts Institute of Technology · NVIDIA
提出 Lightning Weave，组合独立后训练模型的策略 log-ratio 并稳定离线蒸馏，同时提升推理准确率与 token 效率
📌 工作参考价值（4 点）
- 使用 anchor pair 的 log-ratio 表示能力差异，可迁移到推荐模型蒸馏：从 base 到业务优化模型的策略偏移提取特定能力，避免直接匹配教师分布带来的风格冲突，实现对转化率、多样性等单一目标的精准迁移。
- 多能力加权组合方式可借鉴到生成式推荐/Agent 策略优化：不联合训练冲突目标，而是独立训练不同目标的专家，再在共享状态上组合其 log-ratio 生成单一学生，后续通过权重调节在相关性、多样性、时延等指标间取得可控 Pareto 前沿。
- 离线缓存教师评分 + Tilted-Target DOPD 修正固定点，适合大规模线上蒸馏：让行为策略生成轨迹并一次性缓存多个 anchor 模型打分，训练时只跑学生模型，降低实时服务多教师成本；同时用显式 tilted target 避免离线 KL 估计偏差，稳定收敛。
- 权重扫描获得不同 accuracy-efficiency 档位，可直接用于电商响应质量 vs 成本权衡：按流量价值或场景动态调整组合权重，产出不同档位学生模型或行为模式。
顺序优于联合：On-Policy 蒸馏与 RLVR 的相互作用
🧭 RLVR 与 On-Policy 蒸馏两阶段后训练 ★ 深度解读
University of Alberta · New York University · NYU Shanghai · University of Chicago · University of Waterloo
两阶段 OPD-then-RL 在逻辑与数学推理上稳定优于纯 OPD、纯 RLVR 及所有同一步混合的方法
📌 工作参考价值（4 点）
- 若业务中有稠密教师信号（大模型打分/业务规则）与稀疏奖励（点击、转化），不要每步加权融合；先跑 OPD 把模型推到教师支撑边界，再切 RL 做 reward sharpening，可避免梯度信号打架。
- 切换时机用 OPD 的离线验证分数：验证分数饱和后再切 RL，否则会过早封顶最终效果；电商/推荐里可对应用离线 AUC/召回，验证不再提升时再上策略梯度。
- OPD 冷启动优于离线 SFT：推荐/广告中若只有日志式行为克隆，尝试 on-policy rollout + 教师 soft label 蒸馏，可扩大长尾 query/item 覆盖，再进入 RL 收益更明显。
- 监控 sign conflict ratio 可发现 RL 是否破坏教师阶段的关键参数方向；对 embedding 或 attention 层可设不同保护等级。
重新审视大语言模型在线策略蒸馏：单训练样本
🧭 On-Policy 蒸馏 · 数据效率 ★ 深度解读
Tsinghua University · University of Chinese Academy of Sciences · Northeastern University · University of Illinois Urbana-Champaign · Johns Hopkins University
一个 query 训练数百步即可恢复大部分 full-data OPD 增益，揭示 OPD 数据过剩、算法吸收是瓶颈
📌 工作参考价值（4 点）
- 工业 OPD 数据筛选可转向 state coverage 视角：不是收集更多 prompt，而是选语义多样、能诱导互补状态的少量 query（如 16 个/域即可匹配 full-data MOPD）。在电商 query 改写、生成式推荐、Agent 轨迹生成中，可先对 prompt/query 做语义聚类，取代表点训练，大幅降低标注与训练成本。
- 冷启动或无标注场景可借鉴 content-light 模板与离域日志：只要 teacher 能提供 token-level 监督，chat template + <think> 等空模板或历史对话也能驱动 OPD 接近真实 query 效果；可尝试用模板启动生成式推荐或 Agent 策略蒸馏。
- OPD 训练瓶颈在吸收率而非数据量：固定 states 仍需数百步收敛，说明加大 batch 或数据量未必加速；应优先优化步效率，如 batch reuse、trust region、按 token teacher signal 加权，减少训练步数。
- 多教师蒸馏可按域选少量语义代表 query，每域 16 条即可匹配全量，适合多业务线共享一个生成式推荐/Agent 模型时的数据配比与成本控制。
On-Policy蒸馏泛化的双面性：同源对齐与多教师跷跷板效应
🧭 On-policy蒸馏泛化与多教师集成 ★ 深度解读
University of Science and Technology of China · Peking University · IQuest Research · MBZUAI · Zhejiang University
控制实验发现OPD迁移教师推理行为而非答案，同源教师跨域泛化强但使多教师路由出现跷跷板效应
📌 工作参考价值（4 点）
- 教师选型：做 LLM 蒸馏/对齐时，优先选同 base model 的 same-origin 教师，而不是只看 benchmark 更强的跨架构/异源教师；尤其在需要跨域、跨语言或长程推理迁移时，同源教师能带来更稳定的全局策略对齐。
- 训练数据筛选：不要按 teacher 是否解出问题过滤样本，teacher 端 pass-rate=0 的难题同样有价值；对 student 已稳定解决的 prompt 可以动态丢弃，能带来小幅一致性提升并节省算力。
- 多教师/多域路由：在多任务业务（搜索、推荐、广告文案等多域 LLM）里，不能把 prompt 路由当作能力隔离墙；教师影响会跨域拉扯，调整某一教师数据比例会产生跷跷板效应，必须全局监控所有域指标，且同源教师拉动力更强。
- 诊断方法：除了训练 loss，监控 teacher-student 的 top-K token overlap 等策略对齐指标，可判断蒸馏是真正对齐整体策略还是仅拟合训练分布；在 Agent 策略蒸馏中可用来控制跨能力迁移。
可恢复性感知的 Rollout 干预学习
🧭 LLM Agent 后训练 · 可恢复性感知的 rollout 干预 ★ 深度解读
University of Notre Dame · Amazon
将 rollout 干预建模为在线 bandit，从 reward contrast 增益学习在何处、如何分支，提供更强的训练信号并节省算力
📌 工作参考价值（4 点）
- 用 reward contrast 增益代替固定启发式作为干预信号：在对话推荐或商品搜索 Agent 训练中，不用固定的熵或成功率来分配分支预算，而是预测一次额外 rollout 能带来的 reward 方差增益（recoverability），并将其作为在线 bandit 的反馈，学习动态分支策略。
- Shadow-to-Live 双阶段部署：先用高熵 anchor 检测 + 迭代分支收集 (state, action, gain) 轨迹，训练一个轻量控制器；在线训练时用 utility gate 过滤低增益分支，并用 recency‑weighted 滑动窗口持续更新控制器。这种「先暖场再上场」的范式可直接迁移到线上 Agent 训练系统。
- 结构化干预空间：不要只调 rollout 数量，同时联合选择 branch budget 和 decoding 温度（exploit / explore），让控制器学到「增加采样数」和「增加采样多样性」的组合策略，在稀疏奖励的交互推荐场景中尤其有效。
- 在训练流程中实现算力与效果的 Pareto 改善：实验表明 RAIL 用不到半数的 rollout 即可超越 GRPO‑32，在成本敏感的线上推荐 Agent 训练中，可以用更少的交互获得更好的策略，显著降低环境交互开销。
面向多语言数学推理的在线策略增量蒸馏
🧭 LLM 后训练 · 多语言蒸馏
NAVER AI Lab
提出 On-Policy Delta Distillation (OPD^2)，用教师模型与基模型的概率差作为学习信号，在多语言数学推理上优于 OPD
📌 工作参考价值（4 点）
- Delta 信号可引入推荐 Agent 训练：电商搜索/推荐中，若已有强监督教师模型（如大模型生成的推理路径），可直接使用 OPD^2 的 delta 蒸馏技巧（教师 vs 基模型概率差）替代传统 RL，训练轻量 Agent，提升token级反馈效率。
- 多语言场景可用单语数据提升跨语言性能：实验表明英语蒸馏可泛化到韩语/日语，但需防语言漂移。类似地，若以英语搜索日志训练问答Agent，需混合目标语言数据保持语言一致性。
- 在线采样+教师反馈框架适合动态数据流：推荐系统常面临分布漂移，OPD 的在线策略生成思想可迁移至用户反馈动态更新下的模型滚动训练，用当前模型生成样本再让教师打分，提升样本利用率。
- 概率差作为学习信号可借鉴至对比学习：电商搜索中，正负样本概率差可类似 OPD^2 构造细粒度标签，训练学生模型区分优劣结果，尤其适合 beam search 中的候选排序。
LLM-as-a-Coach：面向非可验证任务的经验学习
🧭 LLM 后训练从标量奖励转向经验反馈
Microsoft Research · Tsinghua University · Peking University
将 LLM 评估从标量奖励升级为细粒度经验反馈，通过上下文蒸馏提升开放任务的后训练效果
📌 工作参考价值（4 点）
- 广告文案 / 推荐理由生成：将点击、转化等弱信号通过教练模型转化为细粒度的文本反馈（如“信息量不足”“说服力弱”），再用 EL 蒸馏优化生成策略，替代只优化点击率的标量奖励，能显著提升文案质量与多样性。
- 对话式推荐系统：在多轮交互中，用 LLM 教练对每轮回复进行多维度评价（相关性、说服力、个性等），作为经验知识输入策略模型，缓解纯奖励优化导致的单调回复或“套路化”问题。
- 反馈信号设计：借鉴 EL 的教练设计，将评分准则（rubric）的文本描述直接作为经验知识，无需额外训练奖励模型，适合电商场景中快速部署新产品推荐的文案评估。
- 工程实现：EL 的 on-policy 上下文蒸馏可通过偏好对（preference pairs）实现，与 DPO 流程兼容，避免复杂的 RL 基础设施，对线上系统实时更新更友好。